![[Matterport ベータ版機能] AI による「家具の撤去 (Defurnish) 」をクラスメソッド自社オフィスの3Dモデルで試してみた](https://devio2024-media.developers.io/image/upload/v1727928852/user-gen-eyecatch/ij5dcn6x2yuulnv2sc0e.png)
[Matterport ベータ版機能] AI による「家具の撤去 (Defurnish) 」をクラスメソッド自社オフィスの3Dモデルで試してみた
2024.10.03こんにちは、製造ビジネステクノロジー部の若槻です。
3D スキャン技術およびデジタルツインプラットフォームを提供するサービス Matterport では、先日のリリースでいくつかの大きな発表がありました。
そのうちの一つが、AI による「家具の撤去 (Defurnish)」機能のベータ提供の開始です。機能ページも公開されています。
この機能を利用することにより、例えば不動産販売会社が家具がすでに配置された部屋の配置前のイメージを公開したい場合などに役に立ちます。
今回は、この「家具の撤去」機能をクラスメソッド自社オフィスの 3D モデルで早速試してみました。
試してみた
アカウントで機能を有効化する
my.matterport.com にログインして Features メニューを確認すると、早速 Beta 機能が追加されていました。「家具の撤去」機能は既定では無効になっていました。説明によると家具の撤去前と撤去後のバージョンを切り替え可能になるとのことです。
スペースの編集モードを見ると「家具の撤去」メニューが表示されていましたが、アカウントで有効化前であるため利用不可となっています。
アカウントで「家具の撤去」機能を有効化します。
再度スペースの編集モードを見ると「家具の撤去」メニューが利用可能になっていました。ここから更にスペースごとに家具の撤去バージョンの追加を必要があるようです。
家具の撤去バージョンをスペースに追加する
大阪オフィスのスペースで家具の撤去バージョンの追加をしてみます。
すると「家具を撤去しています…」という表示となりました。処理には時間を要するようです。
家具の撤去バージョンの追加の開始から約 30 分後に処理が完了した旨のメールが届きました。
再度スペースの編集モードで「家具の撤去」メニューを確認すると、家具の撤去されたバージョンが利用可能になり、また新規ビューとして追加されていました。
動作確認
家具を撤去したスペースを my.matterport.com で開くと、「家具を非表示にする」ボタンが追加されていました。大阪オフィスのスペースの各エリアで家具の撤去を試してみます。
CAFE エリア
家具の撤去前のビューです。
「家具を非表示にする」ボタンをクリックするだけで家具が撤去されました。
家具の撤去後のビューです。机、椅子、モニター台、冷蔵庫、棚、天井の標識などが消えています。机や椅子に隠れていた床の模様や窓からの日差しの影はかなりきれいに補完されています。逆にガラスの壁の向こう側やドアの認識はあまり上手くできていないようです。
HUB エリア
家具の撤去前のビューです。
家具の撤去後のビューです。こちらはドアやワークポッド以外は上手く撤去されています。ワークポッドはが撤去されなかったのはその後ろの壁と色が似ていたからでしょうか。
LAB エリア
家具の撤去前のビューです。
家具の撤去後のビューです。こちらもドアやワークポッド以外は上手く撤去されています。
ただポイントによっては一部の家具（棚）がなぜか残ってしまっていました。
面白いと思ったのは、ワークポッドのガラスに反射する室内の家具まで消えていたことです。これは上手く認識されるんですね。
平面図、Dollhouse 表示
平面図や Dollhouse 表示でも家具が撤去されています。
家具を撤去したバージョンを無効にしてみる
スペースでの家具の撤去をしたバージョンの利用は、バージョンを追加すると既定で無効になります。
家具の撤去を下バージョンを無効にしてみます。
すると家具の撤去ボタンが非表示になりました。
技術的な詳細
元の 3D データからの家具の撤去機能では、セマンティックセグメンテーションにより家具のみをバイナリ化した画像と、Stable Difusion により家具を撤去した画像を生成して組み合わせるパイプラインを構築しているとのことです。
Automatic Defurnishing of Indoor Panoramas より引用
さらなる技術的な詳細については下記リンクを参照してください。
おわりに
「家具の撤去」機能をクラスメソッド自社オフィスの 3D モデルで早速試してみました。
今回のリリースでは「スペースのマージ」など他にも面白そうな機能が発表されていたので、追って試してみたいと思います。
以上
